Negative Self-Distillation: Learning to Reason by Avoiding Flaws
负向自蒸馏：通过规避推理缺陷学习推理
🧭 LLM 负向自蒸馏与推理增强 ★ 深度解读
University of Virginia · Stanford University
用模型自生成负向条件并做门控 unlikelihood，无需标签即可稳定提升 LLM 数学推理，同时保留反思能力
📌 工作参考价值（4 点）
- 负向条件生成替代稀缺正反馈：在搜索 query 补全、广告文案、商品标题生成中，很难获得 ground-truth。可以让同一个 LLM 扮演“低转化/不相关/粗心生成器”作为 negative teacher，对真实生成做对比训练，在无标注预算下避开坏模式。
- 动态 token 门控值得复用：对比负向 condition 与中性 reference 在每个生成 token 上的概率，只惩罚对负向注入敏感的关键 token（如 query 中的类目词、价格带、促销词），避免对停用词和语法 token 施加损失导致文案流畅性崩塌。工程上只需要额外一次并行前向，标量实现。
- Sigmoid bounded unlikelihood 可作为稳定化 trick：替换原始 -log(1-p) unlikelihood，能自动抑制高置信语法 token 的梯度，防止推荐解释/文案生成模型在微调后期崩溃；可低成本加到 DPO/GRPO 式损失中。
- 效率经验：单 rollout + 共享权重的 reference/negative teacher 并行 prefill + 标量 token 损失，比 GRPO(n=8) 和 OPSD(top-k logit 对齐) 更省时；如果采样是瓶颈，可以先用离线噪声负条件（如 wiki-irr）把每步训练从 68s 降到 54s，性能基本不降。